在講完前面的章節後,有沒有一種可能就是,train data的資料都訓練得很好,可是一到test data的時候就差強人意? 這種狀況,我們很可能就是面臨一種過度擬合(overfitting)的問題。
解決過度擬合的方法,一般來說有兩種,一種是增加數據量繼續train,一種是降低他的複雜度。
而訓練的時候將train data再分為兩個部分,將validation分出來,就可以在送去test前先驗證,防止train出甚麼太過神奇的model,因此,通常在訓練一個模型的時候,我們會把擁有的資料庫分成三個部分: 訓練集(training data), 驗證集(validation data), 與測試集(testing)。